Giả sử dữ liệu gồm các điểm (xi, yi) với i = 1, 2,..., n. Chúng ta cần tìm một hàm số f thỏa mãn

f(xi) ≈ yi

Giả sử hàm f có thể thay đổi hình dạng, phụ thuộc vào một số tham số pj với j = 1, 2,..., m.

f(x) = f(pj, x)

Nội dung của phương pháp là tìm giá trị của các tham số pj sao cho biểu thức sau đạt cực tiểu:

χ 2 = ∑ i = 1 n ( y i − f ( x i ) ) 2 . {\displaystyle \chi ^{2}=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}.}

Nội dung này giải thích tại sao tên của phương pháp là bình phương tối thiểu.

Đôi khi thay vì tìm giá trị nhỏ nhất của tổng bình phương, người ta có thể tìm giá trị nhỏ nhất của bình phương trung bình:

χ 2 = 1 n ∑ i = 1 n ( y i − f ( x i ) ) 2 . {\displaystyle \chi ^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}.}

Điều này dẫn đến tên gọi bình phương trung bình tối thiểu.